Năm 1754, Henry kết hôn với Sarah Shelton, được báo cáo trong phòng khách của gia đình, Rural Plains. (cũng được biết đến với cái tên Shelton House.)

Là một món quà cưới, cha bà đã cho sáu người nô lệ và trang trại Pine Slash rộng 300 mẫu (1.2 km2) gần Mechanicsville. Với cuộc hôn nhân của mình, ông đã trở thành một chủ nô và địa chủ. Henry làm việc với các nô lệ của ông ta trên mảnh đất bởi vì đó là một tài sản nhỏ; Nó đã được cạn kiệt từ trồng thuốc lá và ông không thể đạt được năng suất lợi nhuận. Sau khi ngôi nhà chính bị đốt cháy, hai vợ chồng này di chuyển trong một thời gian ngắn với hai đứa con của họ vào căn hộ Honeymoon Cottage rộng 20 x 60 foot, một tòa nhà một tầng với tầng áp mái. Sau đó họ chuyển đến Hanover Tavern, do cha của Sarah sở hữu. Họ bán Pine Slash Plantation năm 1764, sau khi Henry bắt đầu làm luật sư[5].

Henrys có sáu người con cùng nhau, một người kết hôn với một anh trai của nhà thơ Thomas Campbell. Năm 1771 gia đình chuyển đến Scotchtown Plantation, cũng tại Hanover County. Sarah bị bệnh tâm thần và chết ở đó vào năm 1775.

Ngày 25 tháng 10 năm 1777, Henry kết hôn với người vợ thứ hai, Dorothea Dandridge, 22 tuổi (1755-1831), 22 tuổi. Năm sau, họ chuyển tới Williamsburg sau khi được bầu làm thống đốc và vẫn tiếp tục hai nhiệm kỳ. Họ có mười một đứa trẻ với nhau. Năm 1779, họ di chuyển đến đồn điền Tràm Leatherwood (10.000 foot vuông) (40 km2), nơi anh mua với anh họ và chồng của cô ở Hạt Henry, Virginia.